Lê Thị Lựu đã kết hôn cùng Ngô Thế Tân, một kỹ sư canh nông cùng quê Bắc Ninh, vào ngày 16 tháng 10 năm 1934.[13][26] Trước đó, bà đã gặp chồng khi ông còn đương là đoàn trưởng hướng đạo sinh Hùng Vương; Trần Duy Hưng, hay biệt danh "Trâu Mơ Mộng", sau này làm chủ tịch Ủy ban Hành chính thành phố Hà Nội, là người đã chắp nối mối lương duyên cho hai người.[20] Từ trước khi kết hôn, bà đã phải chịu áp lực từ phía nhà chồng, không cho phép bà tham dự triển lãm tranh vào năm 1933. Bởi không chịu được cách ứng xử của mẹ chồng cùng em chồng, Lê Thị Lựu đã cùng chồng xin chuyển vào Nam để sinh sống. Trong thời gian trị bệnh ở Hà Nội năm 1938–1939, vì chậm có con, bà từng bị nhà chồng ép gả vợ bé cho chồng.[26] Phải đến hai năm sau, sau khi định cư sang Pháp, bà mới sinh con trai đầu lòng và duy nhất tên Ngô Mạnh Đức vào ngày 1 tháng 1 năm 1941 tại Bệnh viện Saint Antoine Paris, quận 12; sau này ông cũng trở thành một kỹ sư như bố.[32]

Theo nhà phê bình Thụy Khuê, gia đình nhà chồng chính là yếu tố ngăn cản sự nghiệp sáng tác của Lê Thị Lựu, mà theo đó bà cho rằng đây là một "thương tích sâu xa đến cuối đời [...] không bao giờ tha thứ". Sau khi lập gia đình, Lê Thị Lựu gần như ngừng vẽ tranh trong hơn 20 năm từ 1934 đến 1956, trừ một số tác phẩm vẽ trong hoàn cảnh đặc biệt, và từ 1940 đến 1956 thì ngừng hoàn toàn, sống một cuộc sống phụ thuộc vào chồng, cùng với đó là những lời bình phẩm "chua cay" của chồng, cũng là một họa sĩ nghiệp dư, về hội họa.[26][78] Cho đến 1956, tức sau khi ông Tân chuyển công tác hai năm về Việt Nam, bà mới có cơ hội đi học lại nghề vẽ. Rồi sau khi tìm ra một cách vẽ mới trên lụa và bán được tranh, bà mới được chồng "cho phép" hành nghề họa sĩ.[26] Tuy vậy, trong một bài phỏng vấn duy nhất của Lê Thị Lựu đăng trên tạp chí Mai số 35, do Mộng Trung thực hiện, đăng ngày 6 tháng 12 năm 1962, Lê Thị Lựu lại cho biết lý do bà ngừng vẽ trong thời gian dài là vì bệnh tật, đi kèm là sự tự ti vì thời gian dài không học lại nghề vẽ, và phải đến sau này, nhờ sự khuyến khích của các bạn họa sĩ thân thì bà mới trở lại với hội họa.[79] Ngô Thế Tân cũng nói rằng: "chúng tôi đã chung sống [...] hơn nửa thế kỷ, trong sự tổn trọng lẫn nhau. Có thể nói tôi là người đã khuyến khích Lê Thị Luưu trong những thời gian kém tin tưởng về nghệ thuật, tài năng của mình".[80]

Sau năm 1975, Lê Thị Lựu đã có dịp được trở về Việt Nam, thăm các chị em ở Hà Nội, những bà lại thất vọng trước tình cảnh xã hội lúc này.[21] Thế rồi khi trở lại Pháp, bà đã kể lại mọi chuyện với một người bạn thân của bà, và sau đó tin đồn này đã bị làm thổi phồng, phóng đại lên, dẫn đến việc từ đó bà bị coi là một phần tử "phản động" và không thể trở về Việt Nam được nữa.[8]